The Key to Going Linear: Analysis-Driven Transformer Linearization
走向线性的关键：分析驱动的 Transformer 线性化
🧭 LLM 后处理线性化 · 冻结骨干注意力近似
Qualcomm AI Research
证明 key-dependent rank-1 正交投影是 softmax 的关键，提出 sink tokens、短卷积、固定预算缓存路由等干预，实现冻结骨干线性化，在 32B 规模超越前方法
📌 工作参考价值（4 点）
- 若业务使用 LLM 做长上下文推理（如 Agent 长记忆、长文档理解），可采用冻结骨干 + 训练轻量线性注意力替换的方式，大幅降低 KV 缓存和计算量，保持模型质量。
- 提出的 sink tokens、短卷积、固定预算缓存路由是低成本的结构干预，可直接嵌入现有注意力层，尤其适合需要实时响应的推荐或搜索系统。
- 分析揭示 key-dependent rank-1 投影是 softmax 的核心操作，为设计定制化的高效注意力模块提供了理论依据，避免盲目试错。
- 该方法无需全参数微调，只需训练少量新增参数，适合模型频繁更新或需保持原始性能稳定的场景。